多变量测试

多变量测试（Multivariate Testing，MVT）是一种在同一页面中同时改变多个元素（如标题、主图、按钮文案、价格展示方式），通过组合实验找出最优元素组合，并量化每个元素对转化率贡献度的实验方法。

生活化类比

想象你在开一家奶茶店，想提升下单率。你同时调整三件事：

- 招牌文案：A「招牌奶茶」 vs B「爆款回归」

- 杯型图片：A 中杯 vs B 大杯

- 价格展示：A「¥18」 vs B「¥18 第二杯半价」

如果一次只测一个，你需要 3 轮实验；而多变量测试会把这些变化组合成 8 个版本同时上线，看哪套组合下单率最高，还能知道「到底是文案的功劳，还是价格的功劳」。

核心概念与公式

- 因子（Factor）：被测试的元素，如标题、主图、CTA。

- 水平（Level）：每个因子的不同版本，如标题有 2 个版本。

- 组合（Treatment）：所有因子水平的组合，如 2×2×2=8 个版本。

- 主效应（Main Effect）：单个因子对转化的平均影响。

- 交互效应（Interaction Effect）：两个因子组合后产生的额外影响，例如「大杯图 + 第二杯半价」效果远大于两者单独之和。

常用计算：

\text{转化率} = \frac{\text{转化数}}{\text{访问数}} \times 100\%

\text{提升度（Lift）} = \frac{\text{实验组转化率} - \text{对照组转化率}}{\text{对照组转化率}} \times 100\%

判断显著性常用：

z = \frac{p_1 - p_2}{\sqrt{p(1-p)(\frac{1}{n_1}+\frac{1}{n_2})}}

其中 $p$ 为合并转化率。通常要求 $p<0.05$ 且样本量足够。

与相关术语对比

术语	测试对象	变量数量	能否识别元素贡献	所需流量	适用场景
A/B 测试	两个完整版本	1 个	否	中	验证单一改动
多变量测试	多个元素组合	2 个以上	是	高	优化落地页组合
多臂老虎机	多个版本动态分配	多个	部分	中高	实时优化广告/推荐
全因子实验	所有组合	多个	是	极高	小流量高价值页面

应用场景与数据案例

案例 1：独立站首页首屏优化

某家居独立站测试 3 个因子：主图（场景图 vs 产品图）、标题（功能型 vs 情感型）、CTA（Shop Now vs Get 20% Off）。共 8 个组合，运行 14 天，总访问 48,000，基准转化率 2.1%。结果发现「场景图 + 情感型标题 + Get 20% Off」组合转化率达 3.4%，提升 61.9%；其中 CTA 主效应贡献约 1.0 个百分点，主图与标题存在正向交互效应。

案例 2：Shopify 结账页按钮测试

某服饰站测试按钮颜色（绿/橙）、按钮文案（Checkout / Complete Order）、信任徽章（有/无）。6 个组合，样本 22,000。结果「橙色 + Complete Order + 有信任徽章」转化率 4.8%，比基准 3.9% 提升 23.1%。但橙色单独作用不显著，说明交互效应才是关键。

案例 3：广告落地页价格展示

某 3C 配件站测试价格展示（原价划掉 vs 直接折扣）、运费提示（免运费 vs 满$50免运费）、倒计时（有/无）。8 组合，样本 35,000。最优组合转化率 5.2%，基准 3.6%，提升 44.4%。倒计时主效应显著，但仅在与免运费组合时效果最大。

常见误区

1. 流量不足就开测：8 个组合需要至少每组合 100+ 转化，否则统计功效不足。

2. 忽略交互效应：只看主效应可能错过「1+1>2」的组合。

3. 测试周期过短：未覆盖完整购买周期，尤其高客单价品类。

4. 同时改动过多元素：超过 4 个因子会导致组合爆炸，建议先做筛选实验。

5. 把 MVT 当 A/B 用：MVT 适合优化组合，不适合验证单一假设。

6. 不控制外部变量：促销、季节、广告投放变化会污染结果。

生活化类比

核心概念与公式

与相关术语对比

应用场景与数据案例

常见误区

相关术语

🔗 相关术语